Kể từ cuối thế kỷ 17, đảo Robben đã được sử dụng chủ yếu như là nơi cách ly các tù nhân chính trị. Những người định cư Hà Lan là những người đầu tiên sử dụng đảo Robben làm nhà tù. Tù nhân đầu tiên bị giam cầm ở đây có lẽ là Autshumato, nhà lãnh đạo của Strandloper vào giữa thế kỷ 17. Trong số những cư dân thường trú đầu tiên của nó, có các nhà lãnh đạo chính trị từ nhiều thuộc địa khác nhau của Hà Lan, bao gồm cả Indonesia, và người lãnh đạo cuộc Binh biến nô lệ trên con tàu Meermin.

Sau khi Hải quân Hoàng gia Anh giành chiến thắng sau Trận Vịnh Saldanha năm 1781, một con tàu đã ra ngoài khơi để gặp tàu hải quân Anh. Trên tàu là những vị vua của Ternate, Tidore và các hoàng tử. Người Hà Lan từ lâu đã giữ họ trên đảo "Isle Robin", nhưng sau đó đã chuyển họ đến Vịnh Saldanha.[6]

Vào năm 1806, người đánh bắt cá voi Scotland John Murray đã mở một trạm săn cá voi tại vịnh được che chắn trên bờ biển phía đông bắc của hòn đảo, được biết đến với tên vịnh Murray, liền với cảng ngày nay có tên là Cảng Vịnh Murray được xây dựng từ 1939–40.[7][8]